Crowdsourced judgement elicitation with endogenous proficiency
public.icon
経緯
ピア予測法には色々なモデルがありますが、今回のように○✗で回答させる場合には、シンプルかつ比較的強い解概念を導けるDasgupta and Ghosh (2013)がオススメです。僕も研究で使いました。 Authors:
https://gyazo.com/6114dabc26be6ce038e463cbe4cdc847
だけど、この状態で努力さと正確さを直接監視することは難しいので、群衆内のエージェントに正直かつ勤勉になるようなインセンティブを設計する必要がある 1. 最大限の努力をした後に観測結果を真実に報告することはナッシュ均衡である。 2. エージェントが異なる最大熟練度を持ち、混合戦略を用いることができ、それぞれのタスクで異なる戦略を選択できる場合でも、全てのエージェントにとって最大のペイオフを持つ均衡である。
我々のメカニズムの背後にある主なアイデアは、複数のタスクと評価の存在を利用して、努力の少ない合意を識別し、罰するための報告統計量を推定することである。
クラウドソーシングによる判定は、画像の分類やラ ベリング、オンラインコンテンツの品質判定、虐待やアダルトコ ンテンツの特定、そして最近ではオンライン教育におけるピアグ レーディングなど
ラウド ソーシングによる判断の引き出しシナリオにおける重要な問題は エージェントが可能な限り最善 の判断をすることを保証することです
真実の報告がナッシュ均衡となる一般結果空間に 対する情報抽出問題のメカニズムであり、適切な得点規則を用い て、他のエージェントの報告を予測するエージェントに報酬を与 える。